Vào mùa đông năm 618, Lý Mật đến gần Trường An. Đường Cao Tổ thoạt đầu cử nhiều người đến nghênh tiếp, Lý Mật cho rằng Đường Cao Tổ sẽ trao cho ông một vị trí tương đương với thừa tướng. Tuy nhiên, khi Lý Mật đến Trường An, binh lính của ông không được xem trọng và không được tiếp tế đầy đủ. Lý Mật sau đó được Đường Cao Tổ trao chức 'quang lộc khanh', phong tước 'Hình quốc công'. Đường Cao Tổ cũng gả biểu muội là Độc Cô thị cho Lý Mật, gọi Lý Mật là "đệ". Lý Mật không hài lòng, đặc biệt là bởi các hạ thần triều Đường phần lớn đều xem thường ông, và một số còn yêu cầu ông phải hối lộ.

Mặc dù hầu hết các lãnh thổ cũ của Lý Mật đều hàng phục Vương Thế Sung, song Từ Thế Tích thì không. Một người đi theo Lý Mật là Ngụy Trưng đã thỉnh cầu Đường Cao Tổ phái người đến khuyên Từ Thế Tích quy hàng Đường, Đường Cao Tổ đã quyết định phái Ngụy Trưng đi. Từ Thế Tích tuyên bố quy phục, song do trong lòng vẫn xem Lý Mật là chủ nên Từ Thế Tích không dâng tấu lên Đường Cao Tổ mà chỉ thông báo cho Lý Mật. Lý Mật đã trình tấu lên Đường Cao Tổ, Đường Cao Tổ đã ấn tượng trước Từ Thế Tích và ban họ Lý cho người này.

Cũng trong năm đó, do Lý Mật là quang lộc khanh nên phải tổ chức tiệc trong hoàng cung, do đó ông cảm thấy bị sỉ nhục. Lý Mật thảo luận tình thế với Vương Bá Đương, họ cho rằng hiện Từ Thế Tích và Trương Thiện Tương (張善相) vẫn nắm được một đội quân đáng kể, vì thế vẫn còn cơ hội tái lập lực lượng. Do đó, Lý Mật đã thỉnh Đường Cao Tổ cho tiến về phía đông để thuyết phục các thuộc hạ cũ quy hàng triều Đường. Khoảng tết năm 619, bất chấp phản đối từ nhiều hạ thần, Đường Cao Tổ đã chấp thuận, Giả Nhuận Phủ (賈閏甫) và Vương Bá Đương cùng Lý Mật tiến về phía đông.

Tuy nhiên, sau khi Lý Mật rời khỏi Trường An, Đường Cao Tổ đã đổi ý và triệu Lý Mật trở về kinh thành. Khi nhận được chỉ thì Lý Mật đã tiến đến Trù Tang (綢桑, nay thuộc Tam Môn Hiệp, Hà Nam), ông lo sợ về mục đích của Đường Cao Tổ. Bất chấp lời phản đối của Giả Nhuận Phủ và Vương Bá Đương, Lý Mật quyết định nổi dậy. Lý Mật tập kích Đào Lâm (桃林, nay cũng thuộc Tam Môn Hiệp), chiếm được thành. Sau đó, Lý Mật bố cáo rằng đang tiến quân đến Lạc Dương, song thực tế ông tiến quân về Tương Thành (襄城, nay thuộc Bình Đỉnh Sơn, Hà Nam), nơi Trương Thiện Tương kiểm soát. Tuy nhiên, tướng Đường là Thịnh Ngạn Sư (盛彥師) đã lường trước được rằng ông sẽ nổi dậy, vì thế đã giăng bẫy Lý Mật trên đường đi đến Tương Thành, giết chết Lý Mật và Vương Bá Đương.

Đường Cao Tổ trao thủ cấp của Lý Mật cho Lý Thế Tích và giải thích về việc Lý Mật nổi dậy. Lý Thế Tích tương tiếc Lý Mật, và Đường Cao Tổ đã cho an táng thi thể của Lý Mật bằng một buổi lễ lớn. Do Lý Mật được các binh sĩ đi theo cảm mến sâu đậm, nhiều người trong số họ đã than khóc rất nhiều đến nỗi khạc ra máu[cần dẫn nguồn].